（使用pika 0.9.5 Python客户端）

在第一篇教程中，我们已经写了一个从已知队列中发送和获取消息的程序。在这篇教程中，我们将创建一个工作队列（Work Queue），它会发送一些耗时的任务给多个工作者（Worker）。

工作队列（又称：任务队列——Task Queues）是为了避免等待一些占用大量资源、时间的操作。当我们把任务（Task）当作消息发送到队列中，一个运行在后台的工作者（worker）进程就会取出任务然后处理。当你运行多个工作者（workers），任务就会在它们之间共享。

这个概念在网络应用中是非常有用的，它可以在短暂的HTTP请求中处理一些复杂的任务。

准备

之前的教程中，我们发送了一个包含“Hello World!”的字符串消息。现在，我们将发送一些字符串，把这些字符串当作复杂的任务。我们没有真实的例子，例如图片缩放、pdf文件转换。所以使用time.sleep()函数来模拟这种情况。我们在字符串中加上点号（.）来表示任务的复杂程度，一个点（.）将会耗时1秒钟。比如”Hello…”就会耗时3秒钟。

我们对之前教程的send.py做些简单的调整，以便可以发送随意的消息。这个程序会按照计划发送任务到我们的工作队列中。我们把它命名为new_task.py：

我们的旧脚本（receive.py）同样需要做一些改动：它需要为消息体中每一个点号（.）模拟1秒钟的操作。它会从队列中获取消息并执行，我们把它命名为worker.py：

  3. def callback(ch, method, properties, body):
  4.     print " [x] Received %r" % (body,)
  5.     time.sleep( body.count('.') )
  6.     print " [x] Done"

使用工作队列的一个好处就是它能够并行的处理队列。如果堆积了很多任务，我们只需要添加更多的工作者（workers）就可以了，扩展很简单。

首先，我们先同时运行两个worker.py脚本，它们都会从队列中获取消息，到底是不是这样呢？我们看看。

你需要打开三个终端，两个用来运行worker.py脚本，这两个终端就是我们的两个消费者（consumers）—— C1 和 C2。

  1. shell1$ python worker.py
  2.  [*] Waiting for messages. To exit press CTRL+C
  1. shell2$ python worker.py
  2.  [*] Waiting for messages. To exit press CTRL+C

第三个终端，我们用来发布新任务。你可以发送一些消息给消费者（consumers）：

  1. shell3$ python new_task.py First message.
  2. shell3$ python new_task.py Second message..
  3. shell3$ python new_task.py Third message...
  4. shell3$ python new_task.py Fourth message....
  5. shell3$ python new_task.py Fifth message.....
  1. shell2$ python worker.py
  2.  [*] Waiting for messages. To exit press CTRL+C
  3.  [x] Received 'Second message..'
  4.  [x] Received 'Fourth message....'

默认来说，RabbitMQ会按顺序得把消息发送给每个消费者（consumer）。平均每个消费者都会收到同等数量得消息。这种发送消息得方式叫做——轮询（round-robin）。试着添加三个或更多得工作者（workers）。

消息确认

当处理一个比较耗时得任务的时候，你也许想知道消费者（consumers）是否运行到一半就挂掉。当前的代码中，当消息被RabbitMQ发送给消费者（consumers）之后，马上就会在内存中移除。这种情况，你只要把一个工作者（worker）停止，正在处理的消息就会丢失。同时，所有发送到这个工作者的还没有处理的消息都会丢失。

我们不想丢失任何任务消息。如果一个工作者（worker）挂掉了，我们希望任务会重新发送给其他的工作者（worker）。

为了防止消息丢失，RabbitMQ提供了消息响应（acknowledgments）。消费者会通过一个ack（响应），告诉RabbitMQ已经收到并处理了某条消息，然后RabbitMQ就会释放并删除这条消息。

如果消费者（consumer）挂掉了，没有发送响应，RabbitMQ就会认为消息没有被完全处理，然后重新发送给其他消费者（consumer）。这样，及时工作者（workers）偶尔的挂掉，也不会丢失消息。

消息是没有超时这个概念的；当工作者与它断开连的时候，RabbitMQ会重新发送消息。这样在处理一个耗时非常长的消息任务的时候就不会出问题了。

消息响应默认是开启的。之前的例子中我们可以使用no_ack=True标识把它关闭。是时候移除这个标识了，当工作者（worker）完成了任务，就发送一个响应。

  1. def callback(ch, method, properties, body):
  2.     time.sleep( body.count('.') )
  3.     print " [x] Done"
  4.     ch.basic_ack(delivery_tag = method.delivery_tag)
  6. channel.basic_consume(callback,

运行上面的代码，我们发现即使使用CTRL+C杀掉了一个工作者（worker）进程，消息也不会丢失。当工作者（worker）挂掉这后，所有没有响应的消息都会重新发送。

如果你没有特意告诉RabbitMQ，那么在它退出或者崩溃的时候，将会丢失所有队列和消息。为了确保信息不会丢失，有两个事情是需要注意的：我们必须把“队列”和“消息”设为持久化。

首先，为了不让队列消失，需要把队列声明为持久化（durable）：

  1. channel.queue_declare(queue='hello', durable=True)

这个queue_declare必须在生产者（producer）和消费者（consumer）对应的代码中修改。

这时候，我们就可以确保在RabbitMq重启之后queue_declare队列不会丢失。另外，我们需要把我们的消息也要设为持久化——将delivery_mode的属性设为2。

  1. channel.basic_publish(exchange='',
  2.                       routing_key="task_queue",
  3.                       body=message,
  4.                       properties=pika.BasicProperties(
  5.                          delivery_mode = 2, # make message persistent
  6.                       ))

公平调度

你应该已经发现，它仍旧没有按照我们期望的那样进行分发。比如有两个工作者（workers），处理奇数消息的比较繁忙，处理偶数消息的比较轻松。然而RabbitMQ并不知道这些，它仍然一如既往的派发消息。

这时因为RabbitMQ只管分发进入队列的消息，不会关心有多少消费者（consumer）没有作出响应。它盲目的把第n-th条消息发给第n-th个消费者。

工作队列 - 图2

我们可以使用basic.qos方法，并设置prefetch_count=1。这样是告诉RabbitMQ，再同一时刻，不要发送超过1条消息给一个工作者（worker），直到它已经处理了上一条消息并且作出了响应。这样，RabbitMQ就会把消息分发给下一个空闲的工作者（worker）。

  1. channel.basic_qos(prefetch_count=1)

new_task.py的完整代码：

  1. #!/usr/bin/env python
  2. import pika
  3. import sys
  5. connection = pika.BlockingConnection(pika.ConnectionParameters(
  6.         host='localhost'))
  7. channel = connection.channel()
  9. channel.queue_declare(queue='task_queue', durable=True)
  11. message = ' '.join(sys.argv[1:]) or "Hello World!"
  12.                       routing_key='task_queue',
  14.                       properties=pika.BasicProperties(
  15.                          delivery_mode = 2, # make message persistent
  16.                       ))
  17. print " [x] Sent %r" % (message,)
  18. connection.close()

(源码)

我们的worker：

  1. #!/usr/bin/env python
  2. import pika
  3. import time
  5. connection = pika.BlockingConnection(pika.ConnectionParameters(
  6.         host='localhost'))
  7. channel = connection.channel()
  9. channel.queue_declare(queue='task_queue', durable=True)
  10. print ' [*] Waiting for messages. To exit press CTRL+C'
  12. def callback(ch, method, properties, body):
  13.     print " [x] Received %r" % (body,)
  14.     time.sleep( body.count('.') )
  15.     print " [x] Done"
  16.     ch.basic_ack(delivery_tag = method.delivery_tag)
  18. channel.basic_qos(prefetch_count=1)
  19. channel.basic_consume(callback,
  20.                       queue='task_queue')
  22. channel.start_consuming()

(worker.py source)

现在我们可以移步教程3学习如何发送相同的消息给多个消费者（consumers）。